(§) BUNDESREPUBLJK 
D E UTS CH LAND 




DEUTSCHES 
PATENTAMT 



® Offenlegungsschrift 
® DE 196 38 727 A1 



Aktenzeichen: 
(2) Anmeldetag: 
(§) Offeniegungstag: 



196 38 727.2 
12. 9.96 
19. 3.98 



ininiuniniiiHiiwttMniiiiiiiiwnuviiiiu 

© IntC!. 8 : 

©01 B.1 1/00 

G 01 M 11/08 
G06T 17/20 ^ 
A81C 19/04 



eo 

CO 
LU 

O 



(|T) Anmelder: 

Rubbert, Rudger, Dipl.-lng., 12101 Berlin, DE 



O 

O 



CO 

L 1 



(55) Erfinder: 

gleich Anmelder 



(§4) Verfahren zur Erhohung der Signifikanz der dreidimensionalen Vermessung von Objektan 



(§7) Beschrieben wird ein Verfahren zur Erhohung der Signifi- 
kanz der dreidimensionalen Vermessung von Objekten durch 
optisohe Aufnahmen, aufprojizierte Muster und Triangula- 
tionsberechnung, bei dem ein kodiertes Muster auf der 
Objekt zur Vermeidung von Mannigfaltigkeiten bei der 
Auswertung der Bilddaten projiziert wird. 
Dies ist insbesondere fur die medizinische Oiagnostik, 
Therapie und Dokumentation vorteilhaft. 
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Die Erfindung betrifft ein Verfahren zur Erhohung 
der Signifikanz der dreidimensionalen Vermessung von 
Objekten durch optische Aufnahmen, aufprojizierte 
Muster und Tnanguiationsberechnung, bei dem ein ko- 
diertes Muster auf das Objekt zur Vermeidung von 
Mannigfaltigkeiten bei der Auswertung der Bilddaten 
projiziert wird. 

Zum Zweck der Vermessung bietet der Einsatz von 
Verfahren, die auf optischer Grundlage arbeiten, eine 
Vielzahl von Vorteilen. Eine Vermessung kann schnell 
und beruhrungslos erfolgen. Zum Stand der Technik 
gehoren elektronische Bildwandler, beispielsweise 
CCD-Arrays, deren Ausgangssignale unmittelbar nach 
emer Digitahsierung gespeichert oder ausgewertet wer- 
den konnen. 

Bekannt sind Verfahren und Vorrichtungen zur Dar- 
stellung und optischen dreidimensionalen Vermessung 
von raumlichen Oberflachen. Sie basieren auf Triangu- 
iationsverfahren, bei denen unter einem bekannten 
Winkel Punkt-, Lmien- oder beiiebige andere Muster 
auf die betrachtete Oberflache projiziert werden und 
die projizierten Muster unter einem von dem Projek- 
tionswinkel verschiedenen Blickwinkel mit einer Optik 
und einem Bildwandler aufgenommen werden. Die be- 
kannte Geometrie zwischen Projektionsrichtung und 
Aufnahmerichtung erlaubt die dreidimensionale Be- 
rechnung von Stutzpunkten der Oberflache. 

Projiziert man auf ein Objekt mit raumlichen Erstrek- 
kungen beispielsweise ein gleichmaBiges Linienmuster, 
ergibt sich bei einer von der Projektionsrichtung ver- 
schiedenen Blickrichtung in Abhangigkeit von der 
Oberflachengestalt des Objekts ein verzerrtes Linien- 
muster. Bildet man aus dieser Betrachtungsrichtung das 
Objekt durch eine geeignete Optik auf ein CCD-Array 
ab, digitahsiert man die Bildsignale und stellt sie einer 
Datenverarbeitungseinheit zur Verfiigung, so ist es 
rnoghch, an verschiedenen Stellen des Bildes die Linien 
zu identifizieren und bei Kenntnis des optischen Strah- 
lengangs und unter Berucksichtigung der geometri- 
scnen Ausbildung des projizierten Linienmusters uber 
Tnanguiation 3D-Koordinaten zu errechnen. 

Bei emer einfachen raumlichen Ausbildung des Ob- 
jekts konnen aufgrund des relativen Abstands der abge- 
bildeten Linien zueinander inkrementelle Koordinaten 
berechnet werden. 

Es ist jedoch bekannt, daB Hdhenstufen in der zu 
vermessenden Oberflache unter bestimmten geometri- 
schen Bedingungen zu relevanten MeBfehlern fuhren 
konnen. Weist das Objekt bezuglich der Projektions- 
dzw. der Aufnahmerichtung Hinterschneidungen auf, so 
ist mcht ohne weiteres ersichtlich, ob es sich bei benach- 
barten Linien im Abbild tatsachlich auch urn benachbart 

projizierte Linien handeit Falls einzeine Linien nicht 
zur Darstellung gekommen sind, ist zudem nicht be- 
kannt, wie viele Linien "verschluckt" worden sind. Als 
Hinterschneidungen sind hier Ausbildungen der dreidi- 
mensionalen Kontur zu verstehen, die infoige der Be- 
trachtungs- oder der Projektionsrichtung durch Teile 
des Objekts selbst verdeckt und damit fur eine Betrach- 
tung oder Projektion nicht zuganglich sind. 

In der europaischen Patentanmeldung 0 250 993 wird 
ein System zur Hersteilung von Keramikinlays be- 
schneben, bei dem zum Vermessen der Kavitat eines 
Zahnes eine optische 3D-MeBvorrichtung verwendet 
wird. Dort wird die Bedeutung einer "optimalen Sicht" 
aus zwei Griinden unterstrichen: — erstens — , urn die 
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Aufnahmeeinheit hinsichtlich Sicht- und Projektions- 
richtung derart auszurichten, daB mit einer einzigen 
Aufnahme die relevanten Oberflachensegmente des 
Objekts aufgenommen werden konnen und — zweitens 
— , um nicht aufgrund von Hinterschneidungen die 
3D-Koordinaten fehlerhaft zu berechnen. In diesem Zu- 
sammenhang wird vorgeschiagen, die Linien aufgund 
der partiell vorliegenden Kontrastinformation bei der 
Berechnung zu "gewichten". Dies kann jedoch bei einer 
hinsichtlich des {Contrasts unterschiedlichen Ausbildung 
der Oberflachenstruktur des Objekts die Wahrschehv 
lichkeit einer fehlerhaften Berechnung nur zum Teil mi- 
nimieren. 

Es gehort zum Stand der Technik, die aus Einzelbil- 
dem mit unterschiedlicher Aufnahmerichtung gewon- 
nenen Teilinformationen iiber dreidimensionale Ober- 
flachen anhand der 3D-Koordinaten ubereinstimmen- 
der Oberflachensegmente mittels sogenannter "Mat- 
chmg-Algorithmen" zu einer Gesamtinformation zu 
kombinieren. Es ist offensichdich, daB Mannigfaltigkei- 
ten bzw. Unsicherheiten bezuglich der Richtigkeit der 
eingehenden Koordinaten eine sinnvolle numerische 
Berechnung verunmoglichen konnen, insbesondere 
wenn diese automatisch und online wahrend des Auf- 
nahmevorgangs vorgenommen werden soil. 

Aufgabe der Erfindung ist es daher, das Verfahren zur 
Erhohung der Signifikanz der dreidimensionalen Ver- 
messung von Objekten der eingangs beschriebenen Art 
zu schaffen, mit dem jeder Bereich des projizierten Mu- 
sters in dem Aufnahmebild fur sich betrachtet eindeutig 
identifiziert werden kann, ohne daB eine Stetigkeit der 
Oberflache hinsichtlich der Betrachtungs- und Projek- 
tionsrichtung in der oben beschriebenen Art und Weise 
vorausgesetzt werden muB. 

Die Aufgabe wird erfindungsgemaB bei dem Verfah- 
ren dadurch geiost, daB die zum Zwecke der dreidimen- 
sionalen Vermessung von Objekten mit raumlichen Er- 
streckungen nach dem Triangulationsverfahren proji- 
zierten Musterbereiche derart kodiert sind, daB sich an- 
hand eines partiellen Bildausschnitts die Zuordnung zu 
dem entsprechenden Bereich des projizierten Musters 
erkennen laBt. Aus der Kenntnis des Strahlengangs, der 
geometrischen Ausbildung des projizierten Musters 
und der Kenntnis der Lage des entsprechenden Muster- 
ausschnittes in der Bildaufnahme konnen mittels einfa- 
cher Tnanguiationsberechnung absolute 3D-Koordina- 
ten bestimmt werden. 

Wenn jetzt Teile des projizierten Musters in einen 
abgeschatteten Bereich fallen, so kann dennoch partiell 
das Muster identifiziert und eine exakte 3D-Berechnung 
ausgefuhrt werden. Zwar ist die dreidimensionale Ver- 
messung der Oberflache bezuglich des abgeschatteten 
Bereichs nicht moglich, aber fur die anderen Bereiche 
aufgrund der eindeutigen Zuordnung der jeweiligen 
Musterpartien korrekt. 

Es ist denkbar, daB die Ausbildung des kodierten Mu- 
sters gegenuber einem einfachen Streifenmuster unter 
Umstanden die Anzahl der berechenbaren 3D-Informa- 
tionen reduziert. Bewegt man jedoch mit geringer Ge- 
schwindigkeit die Aufnahmeeinheit gegenuber dem Ob- 
jekt und nimmt wahrenddessen eine Folge unterschied- 
licher Einzelbilder auf, so konnen durch geeignete Kom- 
bination der den Einzelbildern zugeordneten Informa- 
tionen die 3D-Informationen verdichtet als auch sukzes- 
sive vervollstandigt werden; sei es, um die aufgrund von 
Hinterschneidungen in Einzelbildern fehJenden Infor- 
mationen zu erganzen; sei es um groBere Objekte dar- 
zustellen, als dies aufgrund der Begrenzungen des Sicht- 
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felds der Aufnahmeeinheit in einer Einzelaufnahme 
moglich ist. 

Durch das erfindungsgemaBe Verfahren konnen in 
dem vorstehend beschriebenen Sinne Mannigfaltigkei- 
ten bei der Triangulationsberechnung vermieden und 5 
die Signif ikanz dieser Berechnungen erhoht werden. 

"Kodiert" sind im Sinne dieser Erfindung Bereiche des 
aufprojizierten Musters, die hinsichtlich ihrer geometri- 
schen Ausbildung und/oder Erstreckung und/oder ihrer 
sonstigen beispieisweise farbigen Ausgestaltung signifi- 10 
kant unterscheidbar sind. 

Wird ais Muster fiir die Projektion ein Linienmuster 
verwendet, erhalt man fiir die 3D-Berechnung relevante 
Informationen, wenn die Linien mit einer wesentiichen 
Komponente quer zu der von der zwischen Blick- und 15 
Projektionsrichtung aufgespannten Ebene gestreift 
sind. 

Bei Verwendung eines Linienmusters konnen die Li- 
nien erfindungsgemaB vorteilhaft z. B. durch Variation 
der Strichstarke innerhalb der jeweiligen Linie kodiert 20 
werden. Hierbei konnen binare, andere diskrete und 
analoge Kodierungen zum Einsatz kommen. 

Werden beispieisweise — erstens — helle Linien auf 
das Objekt projiziert, liegen — zweitens — die Kon- 
trastdaten der digitalisierten Bildinformationen im Spei- 25 
cher einer Datenverarbeitungseinheit flachig vor, sind 
also in Zeilen und Spalten organisiert und reprasentie- 
ren — drittens — die Spaltendaten beispieisweise die 
Bildinformationen in Richtung der Ebene, die zwischen 
Aufnahme- und Projektionsrichtung aufgespannt wird, 30 
kann die automatisierte Auswertung der Daten in einem 
geeigneten Algorithmus zum Zwecke der Berechnung 
der absoluten 3D-Koordinaten derart erfolgen, daB die 
Kontrastdaten entlang einer Bildspalte auf die Oberein- 
stimmung mit der Musterfolge dunkel/hell/dunkel iiber- 35 
priift werden. Hierfiir sind die entsprechenden statisti- 
schen und numerischen Methoden wie Kreuzkorrela- 
tion, Wiener-Filter etc. auch fiir die Subpixeiauswertung 
bekannt. 

Ist nun die Spaitenstelle der Musterubereinsiimmung 40 
bekannt, das heiBt, hat man eine Linie identifiziert, kann 
iiber Kantenverfolgung der Verlauf und die Ausbildung 
der Linie in den benachbarten Spalten untersucht wer- 
den. Mit den zum Stand der Technik gehorenden Me- 
thoden der Mustererkennung kann damit die Linie 45 
selbst bezuglich ihrer Ausbildung und damit ihrer Ko- 
dierung untersucht werden. 

Im Ergebnis ist — erstens — die Spaitenstelle be- 
kannt, an der die Linie mit ihrem Musterschwerpunkt 
aufgenommen wurde und — zweitens — das entspre- 50 
chende Liniensegment dekodiert; somit laBt sich das 
Liniensegment eindeutig zur entsprechenden Muster- 
s telle in dem unverzerrten und zur Projektion gekom- 
menen Muster zuordnen. Aus diesen Informationen 
kann iiber Triangulationsberechnung die 3D-Koordina- 55 
te fiir einen entsprechenden Punkt der betrachteten 
Oberflache des Objekts bestimmt werden. 

Identifiziert man nun in der beschriebenen Art und 
Weise sowohl die anderen Linien in derselben Spalte 
und fuhrt man dieses Verfahren auch in anderen Spalten eo 
durch erhalt man eine Anzahl von Koordinaten, die 
samtlich einzelnen Punkten auf der Oberflache des Ob- 
jekts entsprechen. Derartige sogenannte "Punktewol- 
ken" mit denen die Ausbildung von Oberflachen be- 
schrieben wird, sind in der Technik bekannt-Die weitere 65 
Datenverarbeitung. von Punktewolken beispieisweise 
zur Bildung von Gittemetzstrukturen oder von Fla- 
chensegmenten gehort ebenfalls zum Stand der Tech- 



nik- 

Insbesondere bei medizinischen Anvrendungen er- 
moglicht die mit vorstehendem Verfahren mogliche ex- 
akte dreidimensionale digitale Beschreibung den Ver- 
zicht auf raumiiche Abformungen (wie z. B. Gipsabdruk- 
ken) zur Dokumentation von Befunden dreidimensiona- 
len Inhalts oder zur computergestutzten Anfertigung 
von therapeutischen Mitteln (wie z. B. Zahnspangen, 
Zahnersatz, Implantate). 

Es ist erfindungsgemaB vorteilhaft, entlang der je- 
weils betrachteten Linie abwechselnd Segmente mit 
einfacher und doppeiter Strichstarke anzuordnen. Wer- 
den beispieisweise zudem jeweils kurze und lange Li- 
niensegmente verwendet, konnen aus der Variation kur- 
zer und langer Liniensegmente mit einfacher oder dop- 
peiter Strichstarke entlang einer Linie analog zum Mor- 
sealphabet die Linien unterschiedlich kodiert werden. 
Wenn jetzt Linien in einen abgeschatteten Bereich fal- 
len, so kann dennoch fiir jedes einzelne sichtbare Linien- 
segment, das die vollstandige Kodierang enthalt, eine 
Berechnung absoluter 3D-fCoordinaten ausgefiihrt wer- 
den, ohne daB hierfiir Informationen bezuglich anderer 
Linien oder Linienabschnitte erforderlich sind- 

Es ist erfindungsgemaB vorteilhaft, in bestimmten 
Musterausschnitten in geometrisch eindeutiger Anord- 
nung beispieisweise den schwarz/weiB-Anteil zu variie- 
ren, um aus dem jeweiligen Verhaltnis schwarz zu weiB 
die Musterpartie von anderen unterscheiden zu konnen. 
ErfindungsgemaB besonders vorteilhaft konnen die 
Segmente mit unterschiedlichem Schwarzanteil linear 
oder konzentrisch angeordnet werden. 

Es ist erfindungsgemaB vorteilhaft, in bestimmten 
Musterausschnitten Unterbrechungen der Linien anzu- 
ordnen und durch unterschiedliche Ausgestaltung die- 
ser Unterbrechungen die Musterteile zu variieren. 

Alternativ oder zusatzlich zu einer schwarz/weiB- 
Ausbildung des Musters kann erfindungsgemaB beson- 
ders vorteilhaft eine Farbkodierung des Musters vorge- 
nommen werden. Bei Verwendung von Linien als Mu- 
ster kann erfindungsgemaB vorteilhaft beispieisweise 
jede Linie in einer unterschiedlichen Farbe ausgefuhrt 
werden. Dadurch bleibt die Informationsdichte je Linie 
vollstandig erhalten; dennoch ist jede Linie eindeutig zu 
identifizieren, sofern der Farbgehalt der aufgenomme- 
nen Oberflache eine solche Unterscheidung zulaBt 

Unter "Farbe" wird im Sinne dieser Erfindung eine 
Auswahl von Spektrallinien und Spektraibereichen des 
sichtbaren, infraroten und/oder ultravioletten Lichts 
verstanden. Im Sinne dieser Definition ist es unerheb- 
lich, ob die Farbe durch Erzeugung bestimmter Spek- 
tren oder Spektraibereiche und gegebenenfalls durch 
additive Farbmischung gebildet oder durch Absorption 
und gegebenenfalls subtraktive Farbmischung aus ei- 
nem breiteren Spektrum gefiltert wird. 

"Schwarz" wird im Sinne dieser Erfindung synonym 
fur im wesentiichen unbeleuchtet und/oder fiir im we- 
sentiichen ohne Riickstrahl- oder Durchstrahlkompo- 
nente aufgrund von Absorption verwendet. 

"WeiB" wird im Sinne dieser Erfindung synonym fiir 
mit breitem Spektralband beleuchtet und fiir mit Riick- 
strahl- oder Durchstrahlkomponente mit breitem Spek- 
tralband verwendet 

Samtliche in dieser Erfindung beschriebenen Ausge- 
staitungen des Verfahrens konnen erfindungsgemaB be- 
sonders vorteilhaft in vielfaltiger Art und Weise mitein- 
ander kombiniert werden. 

Weitere Vorteile, Merkmaie und Anwendungsmog- 
lichkeiten der vorliegenden Erfindung ergeben sich aus 
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E ? zS« d?e a n? Ung T t Gr \ n]ie S end «n Zeichnung. 
Ro , ei f,f anhegende Zeichnung in den Figuren 

5?' 1 n und . 2 A usfahrun 8 sf °™« v ™ kodierten Mustem 
zur Durehfuhrung von optischen Aufnahmen um 
Zwecke der dreidimensionaJen Vermessung von ObS 
ten durch aufprojizierte Muster und TriangXionsbe 
rechnungen nach der Erfindung, teilweise scheSSert 

stik^ri 11 8 : 1 g£2eigten Lini «nmus t er ist dTe Strfch- 
starke entlang der jeweiligen Linie in regelmaBig wfe- 
derholter Folge abwechselnd in einfacher^dTdl pel 
ter Breite (Strichstarke) dergestalt aussefuhrr hTr L 
einem definierten Linienabschnitt d^TEg^JfftnS 
der Stucke mit einfacher und doppelter sSlS 
Lime zu Lime unterschiedlich ausgebildet ist. In analo 
ger Anwendung der in der SignaJverarbekinVufaSen 
Ausdrucksweise kann man mit anderen vffi i n d?e 

slhwaSl\TSf ng H-r einem ""terschiXnen 
dfs M^ZlIZ^* 11 ™ mnerha,b Peri ° dizitat 
zus^tzSu dlr Z ^ Ausf£ * ru ngsfor m zeichnet sich 

SSKJSt JS? ^ StSt^e 
In Fig 2 wird eine Anordnung von konzentrischen 

90- " der auBere konzentrische Ring in 

dritSf - ^ d re n w nt ^r Ch ^ dliCh * esch ^t ist und - 

^iT e ?f edHdl 

K^l Ausf " h ™^°™ zeichnet sich zusatzJich 2 u der 
Kodierung der Musterteile dadurch aus, daB 

a) durch die drei genannten Moglichkeiten der „n 
terschiedlichen Ausbildung d^%ir^STnAZSSi 
tlZ mS e , me , hohe Signifikanz der KodTerung er- 
reicht werden kann und insofern 

b) e ine groBe Anzahi von Elementen sicher unter- 
schieden werden konnen, beziehungsweise 

c) redundante Informationen zu Prufzwecken dar 
gesteilt werden konnen, rurzwecken dar- 

eLm C ^t?V k °^ ZentriSChe Aus ^ung der Muster- 
3?"id fUr ^ aUt ° matis ^ Mustererkennung 
e) sich der innere Kreis in seinen unterschiedlichen 
Ausbildungen fur die exakte Bestimmung der Stelle 50 
m verzerrten Abbild des projizierten Musters m 
tels Mustererkennungsalgorithmen eignet 
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1 ; Verfahren zur Erhohung der Signifikanz der drei- 

onTi^ S L° n A aI ? r ermessu ^ von Objekten durcn 
optische Aufnahmen, aufprojizierte Muster und 

^^^^^^^ ^ken^eich 
net, daB verschiedene Bereiche des aufproiizierten ™ 
Musters erne unterschiedliche AusbildmS SSd- 
sen und damit kodiert sind. S 
2. Verfahren nach Anspruch 1, dadurch eekenn 
zeichnet, daB das Muster aus wtodS^z^™ 
metnschen Elementen zusammengesetzt ist d?e « 
durch unterschiedliche Ausbildung kodiert sind 65 
* Verfahren nach Anspruch 2, dadurch sekenn- 
ze lc hnet, daB es sich bei den untersdtdJ^^. 



bildeten geometrischen Elementen urn Elemente 
mit im wesentlichen linearer Erstreckunghandelt. 

4. Verfahren nach Anspruch 2, dadurch. gekenn- 
zeichnet, daB es sich bei den unterschiedlich ausge- 
bildeten geometrischen Elementen um Elernente 
mit im wesentlichen konzentrischer Erstreckung 
handelt 

5. Verfahren nach einem der Anspruche 1 bis 4, 
dadurch gekennzeichnet, daB die unterschiedlich 
ausgebildeten Bereiche des Musters Unterschiede 
hinsichtiich der Ausbildung der Strichstarke auf- 
weisen und dadurch kodiert sind. 

6. Verfahren nach einem der Anspruche 2 bis 5, 
dadurch gekennzeichnet, daB die unterschiedlich 
ausgebildeten geometrischen Elemente des Mu- 
sters Unterschiede durch Unterbrechung aufwei- 
sen und dadurch kodiert sind. 

7. Verfahren nach einem der Anspruche 1 bis 6, 
dadurch gekennzeichnet, daB die unterschiedlich 
ausgebildeten Bereiche des Musters Unterschiede 
hinsichtiich der Farbgestaltung und/oder des 
schwarz/weiB-Gehalts aufweisen und dadurch ko- 
diert sind. 

8. Verfahren nach einem der Anspruche 1 oder 7, 
dadurch gekennzeichnet, daB aus der Bildinforma- 
tion 3D-Koordinaten von jeweils mindestens einem 
Punkt aus mindestens zwei Bereichen der Oberfla- 
che des aufgenommenen Objekts berechnet wer- 
den, auf die wahrend der Aufnahme unterschiedlich 
kodierte Bereiche des Musters projiziert worden 
sind K J 

9. Verwendung der Verfahren nach einem der An- 
spruche 1 bis 8 fur die medizinische Diagnostic, 
Therapie oder Dokumentation. 
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